自動勉強会 Vol.2
2021/10/2
なぜLookDevか
アルゴリズム自体が主題になる表現や話を見聞きすることは多い
もっと細かい質感の話をもっとしたい!という気持ちがある
いろんな講義・セミナーをする際にそういう話をよくしている
テクスチャーがいいよねーとか
Pixel Sortingのまだ擦られてない見せ方 bondbondoo.iconftd.icon
画像を輝度順にソートをすることで得られるグリッチ的なエフェクト
通常は縦や横や斜めにエフェクトをかけるが、2次元でのソートにまだ可能性があるかもしれない
ブラシ範囲内だけソートできる
面白いnagayama.icon
d3.jsにカラー変換のツールが豊富にあるので参考になるかもしれない
d3-cam02
メディアンフィルター
ソートして中央の値を取ることで、急激なノイズを消す
ガウシアンとかに比べ、エッジを維持できる
ピクセルソートもメディアンも、統計的フィルターと言える
音声のノイズリダクションやフィルターを画像に適用できないか
ビジュアル本、Web hashrock.iconkitsunebi.iconbaku89.iconnagayama.icon
へんなタイプフェイスがたくさん載っています 最近パクりがち
Brenna MurphyとBirch CooperによるユニットMSHRのバイナル + ビジュアルブック。
プロダクト系の本ですが、ファウンド・オブジェ的な価値観の転倒を感じられて良きです
旧ユーゴスラビア諸国にある戦勝記念碑です。ブルータリズム建築的な奇怪さがあってインスパイアされます
建築家のエスキース的なものがたくさん載っています。造形のヒントに
骨格推定(Pose Estimation)ftd.iconbaku89.iconhashrock.icon
作品例
骨格を使うのではなくあくまでスタビライズやクロッピングに使っている
人物の前に柵があることが機械学習を利用している事が強調される
有名だが商用だと高い
tf-pose-estimation
TensorFlow版のOpenPose
無料だったがいつのまにかリポジトリ消滅?(以前書いた解説記事ですftd.icon) PoseNetやBlazePoseなどあったが統合された?
3Dの推定もできる
ARKitにも一人だけなら3Dの推定もできるが、精度はイマイチだった記憶
ちょっと試したやつ
posenetのグリッチポイ動きはそれも面白い
骨格だけでなくUVも推定できる
Facebookが発表
深度ではなくRGBをベースに機械学習などのモデルを使って骨格の部位を推定している
ゲームのグリッチ的表現→もうちょっと掘りたいhsgn.icon
マリオとテニス差し替えてバグらせてるのを思い出しましたnagayama.icon
VFXむちゃくちゃ使ってバグ表現する
Life-Like Cellular Automaton(ライフゲームのルールを一般化したセル・オートマトン)を使ったビジュアルbaku89.icon
ロゴをベースにメインビジュアルを作る
今回はセルオートマトンを使って、ロゴが崩壊していくような映像を作った
セルオートマトンとは
ライフゲームが有名でそれをより一般化したもの
毎フレームでのピクセルの生死の条件を定義する
シンプルなルールから多様な模様を生成することができる
初期値によってアニメーション的な動きをする
bakuさんが「すべてがFになる」になるの映像で作っていた。そのメイキングを参考にしている 作ってみたらあまりおもしろくなく途方に暮れた……
静止画として良い感じにしたい、「民主主義の実験」というテーマ
色ごとにルール
放置すると崩壊するのでリセットされるようにしている
初期値が重要
すぐ消滅してしまったり、画面を埋め尽くしてしまうような方にならないように、最初の模様に工夫を加えた
最終的な実装はUnity
Web版はアニメーションのGIF
高解像度感があ面白いのに、mp4だとボケてしまうので
image-rendering: pixelated
CSSで補完をオフることができる(Chrome)
頭から再生するたためにBase64で読み込んで制御している
そんなことができるのか!nagayama.icon
映像系の方でも、 Golly というツールを使えば簡単に取り込むことができます
↑スリットスキャンの応用を見てTouchDesignerでこういうのやったことありますmiyamonz.icon
差分検出とか色でtrackingしてスリットスキャンのマップに使う
差分検出
色でトラッキング
北千住デザインさんの作例
Unity→iPhondeでも動くように
スリット状ではないスリットスキャン
display map filter の時間バージョンといった方が適切かも?
Time Displacementを動画なマップに変えてみても面白そうAodaruma.icon
現在画像のoptical flowを取得してマップにする
ロトスコープ(あるいはモーショントラッキング)
実写映像をなぞって作るアニメーション
バレエ・ロトスコープ
Issey Miyake A-POC INSIDE
少ない情報から人間の動きを感じる知覚現象を利用した作品
マウスの動きをトラッキングしてその軌跡をアニメーションさせる
イージングではない動き
AFにも誰も使っていないけどそういった機能がある
ロゴのモーショングラフィックに使用した
部署の人に描いてもらった動きをロゴの変化に利用した
(これは僕が便宜的にそう呼んでるだけで別の呼び方があるかもしれません)
スキューモーフィズム、現実の見慣れたモチーフ・質感をスクリーン内のUIなど利用する
逆スキューモーフィズム
スクリーン内のものを現実世界に
イメージオブジェクト
In-Game Photography
フォトリアル的なCGへの批判的な側面も
New Aesthetics
CVを前提、コンピューターに見られることを前提とした画像